Omni Interaction Agent Technical Report
Gander：全模态实时交互智能体技术报告
🧭 全模态实时交互Agent
Hunyuan Speech Team, Tencent · Zhejiang University · Shanghai Jiao Tong University · The Chinese University of Hong Kong · Nanyang Technological University
提出Gander，融合多模态感知、全双工流式交互与Agent能力的端到端模型，通过小脑-大脑协同与Thinker-Talker架构实现低延迟实时交互
📌 工作参考价值（4 点）
- 将实时交互与复杂任务推理拆分为两级：轻量流式“小脑”负责即时响应、追问与澄清，重模型“大脑”负责意图解析、工具调用与规划，电商导购/客服Agent可据此降低首响延迟并节省推理成本。
- 全双工可中断机制适合语音购物、直播互动等场景：用户可随时打断，模型可主动给出中间反馈或反问，建议在会话式推荐中引入此类异步主动交互，避免死等完整query。
- 采用chunk级统一token流表示多模态输入输出，可借鉴到流式ASR+LLM+TTS的搜索/推荐语音链路，减少模块间等待与传输开销，提高整体低延迟体验。
- 评估需覆盖背景噪声、多人交互与backchannel等真实环境压力测试，语音搜索/推荐Agent上线前应补充类似鲁棒性评测，而非仅看离线对话质量。